Bijna anderhalve eeuw beheerst het hof Ter Wallen het dorpsbeeld van Olsene. De eerste steen van het kasteel werd op 18 september 1854 gelegd door baron en barones Polydore Piers de Raveschoot-Surmont de Volsberghe. De architect was Louis Minard van Gent. Het gebouw zelf werd opgetrokken in Vlaams neorenaissancestijl.
Bij archeologische opgravingen aan het kasteel zijn enkele muren aangetroffen die vermoedelijk dateren uit de 11de eeuw, en zijn afkomstig van het kasteel dat er voordien stond.
Bij het bouwen van het kasteel werd de ondergrond droog gehouden met gestapelde runderhuiden, waarop duizenden heipalen rusten, die het kasteel ondersteunen. Het bouwmateriaal werd met karretjes en kruiwagens aangevoerd. Van het schip, aan de loskaai van de Leie, tot aan de bouwwerf was een ketting actief van meer dan 200 man. Binnen een tijdspanne van vijf jaar werd het kasteel voltooid, wat voor die tijd een record betekent.
In 2003 kwam het kasteel leeg te staan na het overlijden van de 93-jarige Solange Piers de Raveschoot. De vrouw had geen kinderen en was zo de laatste telg van de adellijke familie.
Na enkele jaren leegstand komt het hof ter Wallen in 2007 in de steigers te staan voor een grootschalige renovatie. De nieuwe eigenaar, de West-Vlaamse industrieel Geert Pouleyn, wil er de ontvangstruimtes voor zijn bedrijf in onderbrengen, en zou het zelf gaan bewonen.